AI Papers Daily

#load balancing

3 篇

Rethinking Routing Exploration in Modern Mixture-of-Experts

重新思考现代 MoE 路由探索：MirrorMoE

🧭 MoE 预训练路由探索优化 ★ 深度解读

ETH Zurich · The University of Hong Kong · Max Planck Institute for Intelligent Systems · WU Vienna

MirrorMoE 通过 token 自适应抑制低概率路由专家缩小探索空间，解决细粒度共享专家 MoE 的探索困境并稳定涨点

📌 工作参考价值（4 点）

• 若服务链路使用 DeepSeek/Qwen3 等 MoE 基座做 embedding、生成式推荐或 Agent 策略，当启用或调大 fine-grained top-k 时，不要假设 shared experts 一定带来收益；可先做单 expert 消融或随机路由诊断，确认 shared experts 是否主导输出并压制路由探索。
• 训练阶段可采用 MirrorMoE 式“选择分布与聚合分布分离”：用镜像 logits 选专家，用原始 logits 权重聚合，再把 rho 从 0.4 cosine 退火到 0；工程实现只需额外一次 softmax 和符号翻转，训练成本几乎不增。
• 负载均衡 loss 应加在实际贡献概率 xi 上，而不是选择概率 p 上；当低权重专家被激活但几乎不贡献时，这种设计能避免均衡目标误导路由，可迁移到多兴趣/多任务 MoE 推荐模型。
• 若模型不含 shared experts，MirrorMoE 提升有限；不要盲目上该 trick，应优先用于 shared-expert + 较大 K 的配置，并在增大 K 时重点观察是否出现“K 涨指标不涨甚至下降”的探索困境。

Training | 2026-10-15 | cs.LG | score 8/10

MoErouting explorationshared expertspretrainingload balancing

How Sparse Probability Maps Shape Mixture-of-Experts Routing

稀疏概率图如何影响 MoE 路由训练行为

🧭 MoE 路由 · 稀疏概率图训练行为 ★ 深度解读

Técnico, Universidade de Lisboa · INESC-ID · Instituto de Telecomunicações · ELLIS Unit Lisbon · Gandara AI

通过可控实验揭示稀疏概率图的零输出能力不会自动带来 token 级专家参与，参与由阈值与 learned score 分布共同决定

📌 工作参考价值（4 点）

• 若线上大模型采用 MoE，不要指望单独换用 sparse map 实现动态专家数；必须同时控制 router score scale（如学习 temperature 或显式正则化），否则稀疏图可能在训练后回到稠密行为。
• 推理阶段弹性专家预算：sparsemax 等稀疏图在 K 从 2 增到 8 时几乎不增加 loss（0.02 nats vs softmax 0.58），适合电商在线服务根据负载动态调整专家数而不显著损害效果。
• 负载均衡目标需适配 sparse map：使用 full probabilities 时零概率专家得不到平衡梯度，建议在 sparse map 下测试不同的 auxiliary probability（如 softmax 概率）或损失权重，实际效果不一定改善，需要验证。
• 评估路由时区分 nominal load 与 contributor load，后者剔除零权重 filler，更能反映真实计算分布；normmax 名义负载均匀但实际 contributor load 明显不平衡，工程实现应统计 contributor load 而非 nominal load。

Training | 2026-10-05 | cs.CL | score 8/10

MoEsparse routingentmaxsparsemaxnormmaxload balancing

FVAttn: Adaptive Sparse Attention with Runtime Load Balancing for Video Generation

FVAttn：视频生成的自适应稀疏注意力与运行时负载均衡

🧭 分布式推理·稀疏注意力负载均衡

中山大学 · Tencent Inc. (WeChat HPC) · Tencent Inc. (WeChat Vision) · 北京大学

提出训练无关的自适应稀疏注意力系统，通过运行时头迁移与空闲填充解决多GPU序列并行的负载不均，推理加速超2倍

📌 工作参考价值（4 点）

• 自适应稀疏中的 Top-p + Top-k 地板 组合策略：确保每个注意力头至少保留 k 个高相关 token，避免完全稀疏导致的训练/推理不稳定，在 LLM 长上下文推荐对话或 Agent 记忆检索时可借鉴此安全机制。
• 运行时负载均衡通过 P2P 迁移少量“重头”到轻载 GPU，这对多 GPU 部署推荐模型（如生成式推荐、多模态理解）时的序列并行头负载不均问题有直接参考价值，可降低栅极延迟。
• Slack-Aware Sparse Augmentation 利用非关键路径 GPU 的空闲时间计算额外高价值块，这种“空闲填充”思路可迁移到分布式 Agent 流水线调度，在等待 I/O 或其他 Agent 结果时执行预取或候选评分。
• 将稀疏计算与负载均衡、通信重叠结合的整体系统设计，展示了在工业级推理服务中如何兼顾精度与吞吐，推荐系统从业者可将类似思想用于大规模模型的多路召回或多专家（MoE）推理的负载均衡。

Other | 2026-07-16 | HF Daily | score 6/10

sparse attentionload balancingsequence parallelismvideo DiTinference optimization